Алгоритм взаимодействия человека с моделью индустриальной киберфизической системы посредством нейроинтерфейса

Сизов Михаил Сергеевич, Марусина Мария Яковлевна, Киприянов Кирилл Васильевич, Архипов Валерий Александрович , Лоу Цзячэн, Нагорнова Жанна Владимировна, Шемякина Наталья Вячеславовна

doi:10.17586/2226-1494-2025-25-4-744-754

2025 , ТОМ 25, НОМЕР 4 ( июль-август )

ISSN 2226-1494 (print), ISSN 2500-0373 (online)

Меню

Публикации

Главный редактор

НИКИФОРОВ
Владимир Олегович
д.т.н., профессор

Партнеры

doi: 10.17586/2226-1494-2025-25-4-744-754

УДК 004.514, 004.896

Алгоритм взаимодействия человека с моделью индустриальной киберфизической системы посредством нейроинтерфейса

Сизов М.С., Марусина М.Я., Киприянов К.В., Архипов В.А., Лоу Ц., Нагорнова Ж.В., Шемякина Н.В.

Читать статью полностью

Язык статьи - русский

Ссылка для цитирования:

Сизов М.С., Марусина М.Я., Киприянов К.В., Архипов В.А., Лоу Ц., Нагорнова Ж.В., Шемякина Н.В. Алгоритм взаимодействия человека с моделью индустриальной киберфизической системы посредством нейроинтерфейса // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25, № 4. С. 744–754. doi: 10.17586/2226-1494-2025-25-4-744-754

Аннотация

Введение. Предложен алгоритм реализации интерфейса мозг-компьютер для осуществления взаимодействия человека с моделью индустриальной киберфизической системы. Интерфейс обеспечивает выбор задуманной детали на основе классификации вызванного ответа электроэнцефалограммы испытуемого на предъявление зрительных стимулов (изображений деталей). Метод. Для проведения исследования был разработан программный комплекс, система управления которого состоит из веб-сервера, контроллера и пользовательского интерфейса мозг-компьютер. Биоэлектрическая активность мозга испытуемого непрерывно регистрировалась с использованием электроэнцефалографа ООО «Мицар», далее с помощью разработанного оригинального программного обеспечения проводилась обработка электроэнцефалографических сигналов в онлайн-режиме. Проведена классификация накопленных вызванных потенциалов на стимул различными способами: выбором на основании амплитудных значений, использованием метода опорных векторов и нейронной сетью. Основные результаты. Показано, что точности классификации вызванных потенциалов при помощи нейронной сети и метода опорных векторов примерно равны и данные алгоритмы могут быть реализованы в режиме реального времени (онлайн). Анализ проведенных экспериментов доказал, что предложенный алгоритм позволяет классифицировать предъявляемые зрительные стимулы в нейроинтерфейсах в онлайн-режиме. Обсуждение. Результаты работы продемонстрировали возможность организации «глубоко интегрированного» взаимодействия человека с оборудованием, посредством воздействия команд, сформированных на основе обработанных сигналов биоэлектрической активности мозга человека на 3D-модель производственного участка.

Ключевые слова: киберфизическая система, электроэнцефалографические сигналы, вызванный потенциал, нейроинтерфейс/ИМК/BCI

Список литературы

Nazarenko A.A., Camarinha-Matos L.M. A human-al framework to design collaborative cyber physical systems // IFIP Advances in Information and Communication Technology. 2024. V. 716. P. 28–42. https://doi.org/10.1007/978-3-031-63851-0_2
Colombo A.W., Karnouskos S., Hanisch C. Engineering human-focused Industrial Cyber-Physical Systems in Industry 4.0 context // Philosophical Transactions of the Royal Society A Mathematical Physical and Engineering Sciences. 2021. V. 379. N 2207. P. 20200366. https://doi.org/10.1098/rsta.2020.0366
Schmidt D., Diez J.V., Ordieres-Meré J., Gevers R., Schwiep J., Molina M. Industry 4.0 lean shopfloor management characterization using EEG sensors and deep learning // Sensors. 2020. V. 20. N 10. P. 2860. https://doi.org/10.3390/s20102860
Piardi L., Leitão P., Queiroz J., Pontes J. Role of digital technologies to enhance the human integration in industrial cyber–physical systems // Annual Reviews in Control. 2024. V. 57. P. 100934. https://doi.org/10.1016/j.arcontrol.2024.100934
Zhou J., Zhou Y., Wang B., Zang J. Human–Cyber–Physical Systems (HCPSs) in the context of new-generation intelligent manufacturing // Engineering. 2019. V. 5. N 4. P. 624–636. https://doi.org/10.1016/j.eng.2019.07.015
Slavic D., Marjanovic U., Pezzotta G., Turcin I., Rakic S. Servitization and industry 5.0: the future trends of manufacturing transformation // IFIP Advances in Information and Communication Technology. 2023. V. 690. P. 109–121. https://doi.org/10.1007/978-3-031-43666-6_8
Slavic D., Romero D., Pezzotta G., Marjanovic U., Savkovic B., Popan I.A., Rakic S.Towards human-centric digital services: a development framework // IFIP Advances in Information and Communication Technology. 2024. V. 732. P. 184–197. https://doi.org/10.1007/978-3-031-71637-9_13
Reddy K.K., Reddy A.V., Doss S., Priyanka K. Human-machine collaboration and emotional intelligence in Industry 6.0: concepts, challenges, and future directions // Examining the Metaverse in Healthcare. 2024. P. 221–246. https://doi.org/10.4018/979-8-3693-1515-6.ch009
Бабкин А.В., Шкарупета Е.В. Индустрия 6.0: сущность, тенденции и стратегические возможности для России // Экономика промышленности. 2024. Т. 17. № 4.C. 353–377. https://doi.org/10.17073/2072-1633-2024-4-1369
Värbu K., Muhammad N., Muhammad Y. Past, present, and future of EEG-based BCI applications // Sensors. 2022. V. 2. N 9. P. 3331. https://doi.org/10.3390/s22093331
Kitchener P.D., Hales C.G. What neuroscientists think, and don’t think, about consciousness // Frontiers in Human Neuroscience. 2022. V. 16. P. 767612. https://doi.org/10.3389/fnhum.2022.767612
Douibi K., Le Bars S., Lemontey A., Nag L., Balp R., Breda G. Toward EEG-based BCI applications for Industry 4.0: challenges and possible applications // Frontiers in Human Neuroscience. 2021. V. 15. P. 705064. https://doi.org/10.3389/fnhum.2021.705064
Гунделах Ф.В., Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Шемякина Н.В. Применение интерфейсов «мозг-компьютер» в ассистивных технологиях // Труды СПИИРАН. 2020. Т. 19. № 2. C. 277–301. https://doi.org/10.15622/sp.2020.19.2.2
Gundelakh F., Stankevich L., Sonkin K. Mobile robot control based on noninvasive brain-computer interface using hierarchical classifier of imagined motor commands // MATEC Web of Conferences. 2018. V. 161. P. 03003. https://doi.org/10.1051/matecconf/201816103003
Капралов Н.В., Нагорнова Ж.В., Шемякина Н.В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 20. № 1. C. 94–132. https://doi.org/10.15622/ia.2021.20.1.4
Guo Z., Wu J., Song Y., Bu J., Mai W., Zheng Q., Ouyang W., Song C. Neuro-3D: towards 3D visual decoding from EEG signals // arXiv. 2024. arXiv:2411.12248. https://doi.org/10.48550/arXiv.2411.12248
Uchimura T. Robots or 3D models control by Brain-Computer Interfaces. Dissertation for the degree of Master of Science (Computer Science). Flinders University, Adelaide, 2021. 40 p.
Cao B., Niu H., Hao J., Wang G. Building EEG-based CAD object selection intention discrimination model using convolutional neural network (CNN) // Advanced Engineering Informatics. 2022. V. 52. P. 101548. https://doi.org/10.1016/j.aei.2022.101548
Duncana C.C., Barryb R.J., Connollyc J.F., Fischer C., Michie P.T., Näätänen R., et al. Event-related potentials in clinical research: Guidelines for eliciting, recording, and quantifying mismatch negativity, P300, and N400 // Clinical Neurophysiology. 2009. V. 120. N 11. P. 1883–1908. https://doi.org/10.1016/j.clinph.2009.07.045
Gonzalez-Santocildes A., Vazquez J.-I., Eguiluz A. Enhancing robot behavior with EEG, reinforcement learning and beyond: a review of techniques in collaborative robotics // Applied Sciences. 2024. V. 14. N 14. P. 6345. https://doi.org/10.3390/app14146345
Александров М.В., Иванов Л.Б., Лытаев С.А. Электроэнцефалография: Руководство. СПб.: СпецЛит, 2020. 224 c.
Марусина М.Я., Бурдаев И.В. Автоматическое распознавание зрительных стимулов по единичным вызванным потенциалам на электроэнцефалограмме // Известия высших учебных заведений. Приборостроение. 2023. Т. 66. № 3. С. 247–250. https://doi.org/10.17586/0021-3454-2023-66-3-247-250
Baiano C., Zeppieri M. Visual Evoked Potential // StatPearls [Internet]. 2023. PMID: 35881733
Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. М.: ДМК Пресс, 2015. 402 с.
Вейдман С. Глубокое обучение: легкая разработка проектов на Python. СПб.: Питер, 2021. 272 с.
Qi J., Hu J., Peng Y., Ren Q., Wang W., Zhan Z. Integration of similarity measurement and dynamic SVM for electrically evoked potentials prediction in visual prostheses research // Expert Systems with Applications. 2011. V. 38. N 5. P. 5044–5060. https://doi.org/10.1016/j.eswa.2010.09.145
Swihart S.L., Matheny A. Classification of chromatic visual evoked potentials with the aid of a neural net // Computers in Biology and Medicine. 1992. V. 22. N 3. P. 165–171. https://doi.org/10.1016/0010-4825(92)90012-c
Zheng X., Cao Z., Bai Q. An evoked potential-guided deep learning brain representation for visual classification // Communications in Computer and Information Science. 2020. V. 1333. P. 54–61. https://doi.org/10.1007/978-3-030-63823-8_7
Zhang Y., Xie S., Wang H., Zhang Z. Data analytics in steady-state visual evoked potential-based brain-computer interface: a review // IEEE Sensors Journal. 2021. V. 21. N 2. P. 1124–1138. https://doi.org/10.1109/jsen.2020.3017491
Cui Z., Chen W., Chen Y. Multi-scale convolutional neural networks for time series classification // arXiv. 2016. arXiv:1603.06995. https://arxiv.org/abs/1603.06995

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License